为从多模态情感分析中有效挖掘单模态表征信息,并实现多模态信息充分融合,提出一种基于混合特征与跨模态预测融合的情感识别模型(H-MGFCT)。首先,利用Mel频率倒谱系数(MFCC)和Gammatone频率倒谱系数(GFCC)及其一阶动态特征融合得到混合特征参数提取算法(H-MGFCC),解决了语音情感特征丢失的问题;其次,利用基于注意力权重的跨模态预测模型,筛选出与语音特征相关性更高的文本特征;随后,加入对比学习的跨模态注意力机制模型对相关性高的文本特征和语音模态情感特征进行跨模态信息融合;最后,将含有文本-语音的跨模态信息特征与筛选出的相关性低的文本特征相融合,以起到信息补充的作用。实验结果表明,该模型在公开IEMOCAP (Interactive EMotional dyadic MOtion CAPture)、CMU-MOSI (CMU-Multimodal Opinion Emotion Intensity)、CMU-MOSEI (CMU-Multimodal Opinion Sentiment Emotion Intensity)数据集上与加权决策层融合的语音文本情感识别(DLFT)模型相比,准确率分别提高了2.83、2.64和3.05个百分点,验证了该模型情感识别的有效性。
精细化短时交通流预测是保证智能交通系统(ITS)合理决策的前提。为了建立无人驾驶汽车换道模型、预测车辆轨迹、引导车辆出行,及时为每条车道预测车流量成为亟须解决的问题,然而精细化短时交通流预测面临着以下挑战:一是交通流数据日益多元化,传统预测方法难以满足ITS高精度、短时延的要求;二是为每条车道训练预测模型会造成大量的资源浪费。针对以上问题,提出利用卷积-门控循环单元(Conv-GRU)结合灰色关联度分析法(GRA)建立精细化短时交通流预测模型预测车道流量。考虑到深度学习训练时间长、推理时间相对较短的特点,提出云-雾部署方案;同时,为避免为每条车道训练预测模型,在云-雾部署方案的基础上提出了模型迁移部署方案,该方案仅需训练部分车道的预测模型,然后通过GRA将训练好的预测模型迁移部署到关联车道进行预测。对真实交通流数据集进行大量对比实验的结果表明:与传统深度学习预测方法相比,所提模型拥有更精准的预测性能,与卷积-长短期记忆(Conv-LSTM)网络相比在提高精度的基础上运行时间更短,且能在保证高精度预测的情况下实现模型迁移,比训练每条车道的预测模型节省了约49%的训练时间。